Những người thuộc cánh hữu và cánh tả đều nhìn nhận Sarkozy là một chính khách lão luyện và một diễn giả gây nhiều ấn tượng.[15] Những người ủng hộ tập chú vào sức thu hút cá nhân, sáng kiến chính trị và ước muốn "làm một cú đột phá ngoạn mục" của ông; trong khi những người chống đối cho rằng Sarkozy đang tách rời khỏi những nguyên tắc kinh tế và xã hội của nước Pháp để theo đuổi những cải cách kinh tế kiểu Mỹ. Đại thể, trong mắt mọi người Sarkozy là người đứng đầu trong số những chính trị gia thân Mỹ.

Từ tháng 11 năm 2004, Sarkozy trở thành chủ tịch UMP, đảng chính trị cánh hữu chính yếu tại Pháp, được bổ nhiệm vào chức Bộ trưởng Nội vụ trong chính phủ Dominique de Villepin, trở thành nhân vật thứ ba trong nấc thang quyền lực ở Pháp, chỉ sau Tổng thống và Thủ tướng. Trong các chức trách của ông có việc thực thi luật pháp, điều phối giữa chính phủ trung ương và chính quyền các địa phương, cũng như chịu trách nhiệm về các vấn đề tôn giáo. Trước đó, Sarkozy là nghị sĩ quốc hội trước khi từ nhiệm để nhận chức bộ trưởng. Ông cũng từng đảm trách chức vụ Bộ trưởng Tài chính.

Sarkozy khởi đầu sự nghiệp chính trị từ lúc 22 tuổi khi trở thành nghị viên hội đồng thành phố Neuilly-sur-Seine, một khu ngoại ô giàu có và biệt lập ở phía tây Paris, rồi đắc cử thị trưởng sau khi thị trưởng đương nhiệm Achille Peretti qua đời.[16] Lúc ấy, Sarkozy là thị trưởng trẻ tuổi nhất nước Pháp, đứng đầu một thị trấn hơn 50.000 cư dân. Sau khi phục vụ ở cương vị thị trưởng từ năm 1983 đến 2002, Sarkozy đắc cử vào Quốc hội.

Năm 1993, Sarkozy trở thành tâm điểm của các bản tin trong nước khi đích thân đàm phán với một người mang bom bắt giữ các em học sinh mẫu giáo làm con tin tại Neuilly. Hung thủ bị giết chết sau hai ngày thương thuyết khi nhóm RAID bí mật tiến vào trường học lúc hung thủ đang nghỉ ngơi.

Từ năm 1993 đến 1995, Sarkozy là bộ trưởng ngân sách và phát ngôn nhân cho chính phủ của Thủ tướng Édouard Balladur. Suốt trong thời kỳ đầu của sự nghiệp chính trị, Sarkozy được xem là chính trị gia được Jacqué Chirac đỡ đầu. Trong nhiệm kỳ bộ trưởng ngân sách, Sarkozy đã làm gia tăng nợ quốc gia lên đến mức cao hơn bất cứ bộ trưởng ngân sách nào khác ngoại trừ người tiền nhiệm của ông, đến 200 tỉ euro (năm tài chính 1994-1996). Thâm hụt ngân sách bằng 6% GDP,[17] trong khi theo Hiệp ước Maastricht, mức thâm hụt ngân sách của Pháp không được vượt quá 3% GDP.

Dù vậy, đến năm 1995, Sarkozy bỏ Chirac và quay sang ủng hộ Balladur trong cuộc chạy đua cho chức tổng thống. Sau khi Chirac đắc cử, Sarkozy mất chức bộ trưởng ngân sách và thấy mình đứng bên ngoài hệ thống quyền lực. Người ta tin rằng Chirac xem việc Sarkozy về phe Balladur là một sự phản bội. Từ đó, hai người luôn tỏ ra gớm ghiếc lẫn nhau.

Đến năm 1997, khi cánh hữu thất bị trong cuộc bầu cử quốc hội, Sarkozy quay trở lại và trở thành nhân vật số hai của RPR. Khi lãnh tụ đảng, Philippe Séguin, từ nhiệm năm 1999 Sarkozy nắm giữ vị trí lãnh đạo. Nhưng đảng của ông rơi vào tình trạng thảm hại nhất khi chỉ chiếm được 12,7% số phiếu bầu trong cuộc tuyển cử Nghị viện châu Âu năm 1999, thua cả đảng đối lập Tập hợp vì nước Pháp của Charles Pasqua, Sarkozy mất chức lãnh đạo đảng.

Tuy vậy, sau khi tái đắc cử tổng thống năm 2002, Chirac bổ nhiệm Sarkozy làm Bộ trưởng Nội vụ trong nội các Jean-Pierre Raffarin, bất kể những bất đồng giữa hai người. Sau bài diễn văn quan trọng của Chirac đọc ngày 14 tháng 7 về an toàn giao thông, Sarkozy đẩy mạnh nỗ lực thông qua luật cho phép chính phủ mua một số lượng lớn máy ghi hình tốc độ, cùng lúc phát động chiến dịch cảnh báo người dân về những nguy cơ trong giao thông.

Sau đợt cải tổ chính phủ ngày 31 tháng 3 năm 2004, Sarkozy được giao đảm trách Bộ Tài chính. Căng thẳng gia tăng giữa Sarkozy và Chirac cũng như trong nội bộ UMP, khi Sarkozy tiếp tục nuôi tham vọng trở thành lãnh tụ đảng một khi khả năng Alain Juppé từ chức trở nên rõ ràng. Sự căng thẳng này càng trở nên rõ rệt khi Sarkozy không che giấu ý định ra tranh cử tổng thống trong năm 2007. Xuất hiện trên kênh truyền hình France 2, khi được hỏi có nghĩ đến kỳ bầu cử tổng thống mỗi khi cạo râu vào buổi sáng không, câu trả lời của Sarkozy là, "không chỉ lúc cạo râu".[18]

Tháng 11 năm 2004, sau khi chiếm 85% phiếu bầu Sarkozy trở thành lãnh tụ đảng. Theo một thỏa thuận với Chirac, Sarkozy từ nhiệm bộ trưởng. Sự thăng tiến của Sarkozy đánh dấu tình trạng phân hóa trong UMP với một nhóm theo Sarkozy, một nhóm khác theo Brice Hortefeux, còn nhóm thứ ba trung thành với Chirac thì ủng hộ Jean-Louis Debré.

Tháng 1 năm 2005, Sarkozy được Tổng thống Chirac trao tặng huân chương Chevalier de la Légion d'honneur, đến tháng 3 ông tái đắc cử vào Quốc hội (theo Hiến pháp, Sarkozy phải từ chức nghị sĩ khi nhận chức bộ trưởng trong năm 2002[19]).

Bộ trưởng Nội vụ (nhiệm kỳ đầu)

Đến cuối nhiệm kỳ thứ nhất, uy tín của Sarkozy tăng cao, ông được xem là chính trị gia bảo thủ được lòng dân nhất theo các cuộc thăm dò dư luận từ đầu năm 2004. Chính sách cứng rắn của Sarkozy đối phó với tình trạng phạm pháp, trong đó có biện pháp gia tăng sự hiện diện của cảnh sát trên đường phố và hằng tháng công bố các chỉ số về phạm pháp, được nhiều người ủng hộ nhưng cũng không ít người chỉ trích.

Sarkozy tìm cách làm giảm sự căng thẳng giữa người dân Pháp và cộng đồng Hồi giáo. Không giống Công giáo và các giáo hội Kháng Cách, cộng đồng đạo Hồi tại Pháp thiếu một cấu trúc tập hợp người Hồi giáo để có thể đứng ra đàm phán với chính phủ. Sarkozy thấy cần có một tổ chức như thế, ông giúp thành lập Conseil français du culte musulman (Hội đồng Hồi giáo Pháp) vào tháng 5 năm 2003.[20] Ông cũng đề nghị sửa đổi luật phân lập giữa nhà nước và giáo hội năm 1905, để có thể sử dụng ngân sách hỗ trợ tài chính cho các nhà thờ và các tổ chức Hồi giáo khác,[21] nhằm giúp họ bớt phụ thuộc vào các nguồn tài chính từ bên ngoài.

Bộ trưởng Nội vụ (nhiệm kỳ hai)

Trở lại Bộ Nội vụ sau khi từ nhiệm khỏi Bộ Tài chính lúc đắc cử vào vị trí lãnh tụ đảng, Sarkozy tỏ ra thận trọng hơn khi đề ra các chính sách, thay vì tập chú vào các vấn đề luật pháp và trật tự, chủ đề mà ông ưa thích, Sarkozy xem xét chúng trong bối cảnh rộng lớn hơn, thể hiện tầm nhìn của nhà lãnh đạo đảng UMP.

Tuy nhiên, những cuộc bạo động bùng nổ trong mùa thu 2005 đã khiến công luận quan tâm đến khả năng thực thi luật pháp của chính phủ. Sarkozy bị cáo buộc đã kích động tình trạng hỗn loạn vì gọi những thanh niên bạo loạn tại Argenteuil gần Paris là "lũ tiện dân" (racaille). Sarkozy cũng kết tội "bọn côn đồ" và các băng đảng về cái chết của hai thanh niên. Những nhận xét này của Sarkozy đã bị chỉ trích kịch liệt bởi những người cánh tả và một thành viên chính phủ, Azouz Begag.[22]

Lãnh tụ đảng UMP

Trước khi đắc cử tổng thống, Sarkozy lãnh đạo UMP, một chính đảng có lập trường bảo thủ. Trong giai đoạn này, số đảng viên gia tăng đáng kể.

Từ năm 2005, Sarkozy ngày càng lớn tiếng kêu gọi thay đổi triệt để các chính sách kinh tế và xã hội tại Pháp. Trong một cuộc phỏng vấn với tờ Le Monde, số ra ngày 8 tháng 9 năm 2005, ông nói rằng người dân Pháp đã bị dẫn dắt lạc lối trong suốt 30 năm qua bởi những lời hứa hẹn dối trá. Ông tuyên bố sẽ xét lại các chính sách không thực tế[23] và kêu gọi:

• xây dựng một hệ thống thuế đơn giản và công bằng hơn, hạn chế các lỗ hổng trong hệ thống luật cũng như ấn định thuế suất tối đa là 50% lợi tức.
• ủng hộ các biện pháp cắt giảm hoặc từ chối những khoản trợ cấp xã hội dành cho người thất nghiệp không chịu nhận việc làm.
• nỗ lực cắt giảm thâm thủng ngân sách, ông tuyên bố rằng nước Pháp đã có lúc không mắc nợ.

Sarkozy kích hoạt các cuộc tranh luận khi tuyên bố muốn cải cách các quy định nhập cư, thiết lập định mức dành cho di dân có tay nghề mà nền kinh tế Pháp đang cần.